Món ăn được phát minh vào năm 1962 bởi doanh nhân Công giáo Lou Groen, lúc đó đang là chủ nhà hàng nhượng quyền McDonald's ở Cincinnati.[2][3] Nhà hàng của ông nằm tại số 5425 West North Bend Road,[21] trong một khu phố có cư dân chủ yếu theo Công giáo La Mã, dẫn đến việc doanh số bán bánh hamburger giảm vào thứ Sáu do Công giáo La Mã thực hành kiêng thịt vào ngày này.[22][23] Đây là một phong tục Kitô giáo Tây phương, cũng được nhiều tín đồ Giám lý, Anh giáo và Luther áp dụng.[4][5][6] Tên gọi của sản phẩm được sáng tạo bởi Cye Landy thuộc Cye Landy Advertising Agency, công ty quảng cáo cho thương hiệu McDonald's đó.

Đây là món ăn không phải hamburger đầu tiên được Ray Kroc (chủ sở hữu mới của McDonald's) đưa vào thực đơn. Kroc đã thỏa thuận với Groen rằng họ sẽ bán hai loại sandwich không nhân thịt vào thứ Sáu, gồm Hula Burger của riêng Kroc (dứa nướng và pho mát đặt trên một lát bánh mì nguội) cùng Filet-O-Fish, khi ấy món nào bán được nhiều nhất thì sẽ thêm vào thực đơn. Kết quả là Filet-O-Fish "giành chiến thắng" và được bổ sung vào thực đơn trong suốt năm 1963, cho đến khi món ăn vươn lên tầm cỡ quốc gia vào năm 1965.

Việc sử dụng cá nuôi để làm món Filet-O-Fish xuất hiện lần đầu vào năm 1981, khi chủ sở hữu của một công ty thủy sản ở New Zealand không hài lòng với món Filet-O-Fish cá minh thái mà ông mua tại nhà hàng ở Courtenay Place, Wellington. Ông này khẳng định với viên quản lý rằng mình có thể làm món cá phi lê "tuyệt hảo" hơn, thế là người ta giao cho ông một hộp phi lê và đề nghị ông quay lại với những miếng phi lê tương tự nhưng ngon hơn. Ông đã thay thế cá minh thái bằng cá tuyết đỏ, rồi sau khi viên quản lý hài lòng với món phi lê này thì ông đã đồng ý cung ứng cho nhà hàng Courtenay Place (cùng một số nhà hàng khác ở New Zealand) món phi lê cá tuyết đỏ.

McDonald's đã loại bỏ Filet-O-Fish khỏi thực đơn của họ tại Hoa Kỳ vào ngày 26 tháng 9 năm 1996, thay thế bằng bánh sandwich Fish Filet Deluxe - một phần của dòng sandwich Deluxe đang bị lãng quên. Tuy nhiên, Filet-O-Fish dần được đưa trở lại thực đơn của từ giữa năm 1997 do lượng thư yêu cầu và kiến nghị quá lớn. Fish Filet Deluxe sau đó đã bị ngừng cung cấp tại hầu hết các nhà hàng vào đầu năm 1998, trong khi những nhà hàng khác vẫn phục vụ món ăn cho đến tận năm 2000.

Vào tháng 11 năm 2007, McDonald's đã giảm việc sử dụng hoki của New Zealand và tăng việc sử dụng cá minh thái Alaska, do sự sụt giảm của nghề cá hoki ở New Zealand và sự cắt giảm tổng sản lượng đánh bắt thương mại cho phép của hoki bởi Bộ Thủy sản New Zealand - từ 250.000 tấn năm 1997 xuống còn 90.000 tấn năm 2007. McDonald's ban đầu sử dụng cá tuyết Đại Tây Dương, trước khi sản lượng cá tuyết sụt giảm buộc McDonald's phải tìm nguồn cung ở những nơi khác.

Vào năm 2019, McDonald's đã gửi một lá thư đình chỉ (cease and desist) tới một nhà hàng nhỏ ở Canada, khi họ bán một loại sandwich cá mang tên 'Effing Filet O' Fish'. McDonald's cho rằng việc nhà hàng sử dụng thuật ngữ đó đã vi phạm nhãn hiệu 'Filet-O-Fish' của McDonald's. Đáp lại, nhà hàng ấy đã đồng ý ngừng sử dụng cái tên 'Filet O' Fish' để đặt cho món bánh của họ.[24]